home *** CD-ROM | disk | FTP | other *** search
/ Total Network Tools 2002 / NextStepPublishing-TotalNetworkTools2002-Win95.iso / Archive / Misc Servers / Zope.exe / BBB.PY < prev    next >
Encoding:
Text File  |  1999-08-16  |  12.7 KB  |  405 lines
  1. ##############################################################################
  2. # 
  3. # Zope Public License (ZPL) Version 1.0
  4. # -------------------------------------
  5. # 
  6. # Copyright (c) Digital Creations.  All rights reserved.
  7. # 
  8. # This license has been certified as Open Source(tm).
  9. # 
  10. # Redistribution and use in source and binary forms, with or without
  11. # modification, are permitted provided that the following conditions are
  12. # met:
  13. # 
  14. # 1. Redistributions in source code must retain the above copyright
  15. #    notice, this list of conditions, and the following disclaimer.
  16. # 
  17. # 2. Redistributions in binary form must reproduce the above copyright
  18. #    notice, this list of conditions, and the following disclaimer in
  19. #    the documentation and/or other materials provided with the
  20. #    distribution.
  21. # 
  22. # 3. Digital Creations requests that attribution be given to Zope
  23. #    in any manner possible. Zope includes a "Powered by Zope"
  24. #    button that is installed by default. While it is not a license
  25. #    violation to remove this button, it is requested that the
  26. #    attribution remain. A significant investment has been put
  27. #    into Zope, and this effort will continue if the Zope community
  28. #    continues to grow. This is one way to assure that growth.
  29. # 
  30. # 4. All advertising materials and documentation mentioning
  31. #    features derived from or use of this software must display
  32. #    the following acknowledgement:
  33. # 
  34. #      "This product includes software developed by Digital Creations
  35. #      for use in the Z Object Publishing Environment
  36. #      (http://www.zope.org/)."
  37. # 
  38. #    In the event that the product being advertised includes an
  39. #    intact Zope distribution (with copyright and license included)
  40. #    then this clause is waived.
  41. # 
  42. # 5. Names associated with Zope or Digital Creations must not be used to
  43. #    endorse or promote products derived from this software without
  44. #    prior written permission from Digital Creations.
  45. # 
  46. # 6. Modified redistributions of any form whatsoever must retain
  47. #    the following acknowledgment:
  48. # 
  49. #      "This product includes software developed by Digital Creations
  50. #      for use in the Z Object Publishing Environment
  51. #      (http://www.zope.org/)."
  52. # 
  53. #    Intact (re-)distributions of any official Zope release do not
  54. #    require an external acknowledgement.
  55. # 
  56. # 7. Modifications are encouraged but must be packaged separately as
  57. #    patches to official Zope releases.  Distributions that do not
  58. #    clearly separate the patches from the original work must be clearly
  59. #    labeled as unofficial distributions.  Modifications which do not
  60. #    carry the name Zope may be packaged in any form, as long as they
  61. #    conform to all of the clauses above.
  62. # 
  63. # 
  64. # Disclaimer
  65. # 
  66. #   THIS SOFTWARE IS PROVIDED BY DIGITAL CREATIONS ``AS IS'' AND ANY
  67. #   EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  68. #   IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  69. #   PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL DIGITAL CREATIONS OR ITS
  70. #   CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  71. #   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  72. #   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF
  73. #   USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  74. #   ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
  75. #   OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
  76. #   OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  77. #   SUCH DAMAGE.
  78. # 
  79. # 
  80. # This software consists of contributions made by Digital Creations and
  81. # many individuals on behalf of Digital Creations.  Specific
  82. # attributions are listed in the accompanying credits file.
  83. # 
  84. ##############################################################################
  85. """Read and (re-)format BoboPOS 2 database files
  86. """
  87.  
  88. import struct, string, sys, time, os
  89.  
  90. try: from cStringIO import StringIO
  91. except: from StringIO import StringIO
  92.  
  93. ppml=None
  94.  
  95. file__version__=3.0
  96. packed_version='SDBMV'+struct.pack(">f",file__version__)
  97.  
  98. def error(message, fatal=0, exc=0):
  99.     if exc:
  100.         sys.stderr.write('%s: %s' % (sys.exc_info()[0], sys.exc_info()[1]))
  101.     sys.stderr.write("\n%s\n" % message)
  102.     if fatal: sys.exit(fatal)
  103.  
  104. def _read_and_report(file, rpt=None, fromEnd=0, both=0, n=99999999, show=0,
  105.                      forgive=0, export=0):
  106.     """\
  107.     Read a file's index up to the given time.
  108.     """
  109.     first=1
  110.     seek=file.seek
  111.     read=file.read
  112.     unpack=struct.unpack
  113.     split=string.split
  114.     join=string.join
  115.     find=string.find
  116.     seek(0,2)
  117.     file_size=file.tell()
  118.     if not export:
  119.         seek(0)
  120.         h=read(len(packed_version))
  121.         if h != packed_version:
  122.             if h[:4]=='FS21':
  123.                 error("The input file is a ZODB File Storage\n"
  124.                       "This script only works with ZODB 2 (BoboPOS) "
  125.                       "data or export files."
  126.                       ,1)
  127.             else:
  128.                 error("The input file is not a ZODB 2 database file.\n"
  129.                       "This script only works with ZODB 2 (BoboPOS) "
  130.                       "data or export files."
  131.                       ,1)
  132.             
  133.     gmtime=time.gmtime
  134.  
  135.     if fromEnd: pos=file_size
  136.     else:       pos=newpos=(not export) and len(packed_version)
  137.      
  138.     tlast=0
  139.     err=0
  140.     tnamelast=None
  141.     while 1:
  142.         if fromEnd:
  143.             seek(pos-4)
  144.             l=unpack(">i", read(4))[0]
  145.             if l==0:
  146.                 b=pos
  147.                 p=pos-4
  148.                 while l==0:
  149.                     p=p-4
  150.                     seek(p)
  151.                     l=unpack(">i", read(4))[0]
  152.  
  153.                 pos=p+4
  154.                 error("nulls skipped from %s to %s" % (pos,b)) 
  155.             p=pos-l
  156.             if p < 0:
  157.                 error('Corrupted data before %s' % pos)
  158.                 if show > 0:
  159.                     p=pos-show
  160.                     if p < 0: p=0
  161.                     seek(p)
  162.                     p=read(pos-p)
  163.                 else:
  164.                     p=''
  165.                 error(p,1)
  166.             pos=p
  167.         else:
  168.             pos=newpos
  169.  
  170.         seek(pos)
  171.         h=read(24) # 24=header_size
  172.         if not h: break
  173.         if len(h) !=  24: break
  174.         oid,prev,start,tlen,plen=unpack(">iidii",h)
  175.         
  176.         if prev < 0 or (prev and (prev >= pos)):
  177.             error('Bad previous record pointer (%s) at %s' % (prev, pos))
  178.             if show > 0: error(read(show))
  179.             if not forgive:
  180.                 err=1
  181.                 break
  182.  
  183.         if start < tlast:
  184.             error('record time stamps are not chronological at %s' % pos)
  185.             if show > 0: error(read(show))
  186.             if not forgive:
  187.                 err=1
  188.                 break
  189.  
  190.         if plen > tlen or plen < 0 or oid < -999:
  191.             error('Corrupted data record at %s' % pos)
  192.             if show > 0: error(read(show))
  193.             err=1
  194.             break
  195.  
  196.  
  197.         newpos=pos+tlen
  198.         if newpos > file_size:
  199.             error('Truncated data record at %s' % pos)
  200.             if show > 0: error(read(show))
  201.             if not forgive:
  202.                 err=1
  203.                 break
  204.  
  205.         seek(newpos-4)
  206.         if read(4) != h[16:20]:
  207.             __traceback_info__=pos, oid,prev,start,tlen,plen
  208.             error('Corrupted data record at %s' % pos)
  209.             if show > 0:
  210.                 seek(pos+24)
  211.                 error(read(show))
  212.             err=1
  213.             break
  214.  
  215.         tlast=start-100
  216.  
  217.         if rpt is None: continue
  218.         n=n-1
  219.         if n < 1: break
  220.  
  221.         seek(pos+24)
  222.         if plen > 0:
  223.             p=read(plen)
  224.             if p[-1:] != '.': 
  225.                 error('Corrupted pickle at %s %s %s' % (pos,plen,len(p)))
  226.                 if show > 0:
  227.                     seek(pos+24)
  228.                     error(read(show))
  229.                 err=1
  230.                 break
  231.  
  232.         else: p=''
  233.         t=split(read(tlen-plen-28),'\t')
  234.         tname, user = (t+[''])[:2]
  235.         t=join(t[2:],'\t')
  236.         start,f=divmod(start,1)
  237.         y,m,d,h,mn,s=gmtime(start)[:6]
  238.         s=s+f
  239.         start="%.4d-%.2d-%.2d %.2d:%.2d:%.3f" % (y,m,d,h,mn,s)
  240.         rpt(pos,oid,start,tname,user,t,p,first,tname!=tnamelast)
  241.         first=0
  242.         tnamelast=tname
  243.  
  244.     if err and both and not fromEnd:
  245.         _read_and_report(file, rpt, 1, 0, n, show)
  246.  
  247.     rpt(None, None, None, None, None, None, None, None, None)
  248.  
  249.  
  250. def none(*ignored): pass
  251.  
  252. def positions(pos, *ignored): 
  253.     if pos is not None: sys.stdout.write("%s\n" % pos)
  254.  
  255. def oids(pos, oid, *ignored): 
  256.     if pos is not None: sys.stdout.write("%s\n" % oid)
  257.  
  258. def tab_delimited(*args):
  259.     sys.stdout.write("%s\n" % string.join(args[:6],'\t'))
  260.  
  261. def undo_log(pos, oid, start, tname, user, t, p, first, newtrans):
  262.     if not newtrans: return
  263.     
  264.     sys.stdout.write("%s:\t%s\t%s\t%s\n" % (pos, start, user, t))
  265.  
  266.         
  267. reports={
  268.     'none': (none,
  269.              ('Read a database file checking for errors',
  270.               'but producing no output')
  271.              ),
  272.     'oids': (oids,
  273.              ('Read the database and output object ids',)),
  274.     'positions': (positions,
  275.                   ('Read the database and output record positions',)),
  276.     'tab_delimited': (tab_delimited,
  277.                       ('Output record meta-data in tab-delimited format',)),
  278.  
  279.     'undo': (undo_log,
  280.              (
  281.                  'Output a transaction summary that shows the position of',
  282.                  'each transaction.  This is useful for undoing ',
  283.                  'transactions from the OS command line when',
  284.                  'some programming error has caused objects to get to',
  285.                  'a state where Zope can\'t start up.',
  286.                  '',
  287.                  'Eventually, there will be an undo utility for undoing',
  288.                  'individual transactions.  For now, you can simply',
  289.                  'truncate the file at the position of a problem',
  290.                  'transaction to return the database to the state it',
  291.                  'was in before the transaction',
  292.                  )),
  293.     }
  294.  
  295. def main(argv):
  296.     import getopt
  297.  
  298.     items=reports.items()
  299.     items.sort()
  300.     
  301.     usage="""Usage: python %s [options] filename
  302.  
  303.     where filename is the name of the database file.
  304.  
  305.     options:
  306.  
  307.        -r report
  308.  
  309.           Specify an output report.
  310.  
  311.           The valid reports are:\n\n\t\t%s
  312.  
  313.        -e
  314.  
  315.           Read the file from back to front
  316.  
  317.        -l n
  318.  
  319.           Show only n records
  320.  
  321.        -b
  322.  
  323.           If an error is encountered while reading from front,
  324.           ret reading from the back.
  325.  
  326.        -s n
  327.  
  328.           If a corrupted data record is found, show the first n
  329.           bytes of the corrupted record.
  330.  
  331.        -f filename
  332.  
  333.           Convert to ZODB 3 File-Storage format
  334.  
  335.        -p path
  336.  
  337.           Add a directory to the Python path.
  338.  
  339.        -x
  340.  
  341.           The input file is a ZODB 2 export file.
  342.  
  343.           
  344.     """ % (sys.argv[0],
  345.            string.join(map(
  346.                lambda i:
  347.                ("%s --\n\t\t\t%s" % (i[0], string.join(i[1][1],'\n\t\t\t'))),
  348.                items),
  349.                ',\n\n\t\t'))
  350.  
  351.     sys.path.append(os.path.split(sys.argv[0])[0])
  352.  
  353.     try:
  354.         opts, args = getopt.getopt(argv,'r:ebl:s:f:p:x')
  355.         filename,=args
  356.     except: error(usage,1,1)
  357.  
  358.     try: file=open(filename,'rb')
  359.     except: error('Coud not open %s' % filename,1,1)
  360.     
  361.     rpt=none
  362.     fromEnd=0
  363.     both=0
  364.     n=99999999
  365.     show=0
  366.     export=0
  367.     convert=0
  368.     for o, v in opts:
  369.         o=o[1:]
  370.         if o=='r':
  371.             try: rpt=reports[v][0]
  372.             except: error('Invalid report: %s' % v, 1)
  373.         elif o=='l':
  374.             try: n=string.atoi(v)
  375.             except: error('The number of records, %s, shuld ne an integer'
  376.                           % v, 1)
  377.         elif o=='s':
  378.             try: show=string.atoi(v)
  379.             except: error('The number of bytes, %s, shuld ne an integer'
  380.                           % v, 1)
  381.         elif o=='e': fromEnd=1
  382.         elif o=='x': export=1
  383.         elif o=='f': convert=1
  384.         elif o=='b': both=1
  385.         elif o=='p':
  386.             if v=='-':
  387.                 v=os.path.join(
  388.                     os.path.split(sys.argv[0])[0],
  389.                     '..','lib','python')
  390.             sys.path.insert(0,v)
  391.             print sys.path
  392.         else: error('Unrecognized option: -%s' % o, 1)
  393.  
  394.     if convert:
  395.         import FS
  396.         if export:
  397.             rpt=FS.ZEXP(v, file).rpt
  398.         else:
  399.             rpt=FS.FS(v, file).rpt
  400.  
  401.     _read_and_report(file, rpt, fromEnd, both, n, show,
  402.                      forgive=1, export=export)
  403.  
  404. if __name__=='__main__': main(sys.argv[1:])
  405.